SHIFT: Gate-Modulated Activation Steering for Knowledge Conflict Mitigation in Retrieval-Augmented Generation
缓解检索增强生成中知识冲突的门控调制激活引导方法
🧭 门控机制自适应调节激活以解决知识冲突
Northeastern University · Tsinghua University
提出 SHIFT，用可学习门控模块替代神经元编辑，自适应调节激活，以低于 0.01% 参数解决 RAG 知识冲突
📌 工作参考价值（4 点）
- 可借鉴轻量门控模块（训练参数 <0.01%）插件式插入 LLM，冻结骨干，在不损害通用能力的前提下提升 RAG 冲突场景下的上下文遵循度，适合低资源快速适配。
- 门控调制激活的方式比神经元定位和层固定规则更灵活，可在电商搜索推荐中的商品知识增强、客服问答等 RAG 场景使用，避免因知识冲突产生错误推荐。
- 该方法属于参数高效微调，可与现有 PEFT 方案（如 LoRA）叠加，工程实现成本低，可直接嵌入到已有 RAG 管线。
- 论文在多个数据集上验证，开源代码可直接复用，适合业务团队快速验证门控激活引导在自身场景的效果。